提供了一种产生流的方法及设备和处理流的方法及设备。所述产生流的方法包括:产生基本流,所述基本流包括提供三维(3D)图像的三维图像数据和用于再现三维图像的三维细节信息;产生包括三维摘要信息的片段,所述三维摘要信息表示从基本流将被产生的传输流提供三维图像;以及产生关于片段和基本流的传输流。
1.一种产生流的方法,所述方法包括:产生基本流,所述基本流包括提供三维(3D)图像的三维图像数据和用于再现三维图像数据的三维细节信息;产生包括三维摘要信息的片段,所述三维摘要信息表示从基本流将被产生的传输流提供三维图像;产生关于片段和基本流的传输流,其中,三维图像数据包括左视点图像数据和右视点图像数据,其中,产生传输流的步骤包括:产生第一传输流包,产生第二传输流包,并组合第一传输流包和第二传输流包,其中,第一传输流包包括第一基本流和第二基本流中的一个和节目映射表PMT,第二传输流包包括第一基本流和第二基本流中的另一个。
2.如权利要求1所述的方法,其中,三维细节信息包括在基本流中的序列层、图片组(GOP)层和图片层中的至少一项的字段中。
3.如权利要求1所述的方法,其中,三维细节信息包括表示三维图像数据的配置的三维模式信息和表示三维图像数据的视点的视点信息中的至少一项。
4.如权利要求3所述的方法,其中,三维细节信息还包括输出顺序信息,所述输出顺序信息表示提供三维图像的参考视点图像数据和附加视点图像数据之间的输出顺序。
5.如权利要求3所述的方法,其中,三维细节信息还包括采样信息和在提供三维图像的参考视点图像数据和附加视点图像数据之间的合成模式信息中的至少一项。
6.如权利要求3所述的方法,其中,三维细节信息还包括关于在图像序列中提供三维图像的片段的三维片段信息。
7.如权利要求1所述的方法,其中,产生片段的步骤包括将三维摘要信息插入到关于通过基本流提供的不同层的多个图像数据的信息中。
8.如权利要求7所述的方法,其中,通过可伸缩视频编码(SVC)编解码器和多视点视频编码(MVC)编解码器中的至少一项对不同层的多个图像数据进行编码。
9.如权利要求7所述的方法,其中,三维摘要信息包括关于三维图像数据的配置的三维模式信息。
10.如权利要求1所述的方法,其中,片段还包括节目映射表。
11.如权利要求1所述的方法,其中,产生片段的步骤包括将三维摘要信息插入到描述符数据的未用的保留字段中。
12.如权利要求1所述的方法,其中,三维摘要信息是提供三维图像的传输流的包标识符(PID)。
13.一种处理流的设备,所述设备包括:片段恢复单元,从第一传输流恢复包括关于三维图像数据的三维摘要信息的片段;基本流恢复单元,基于三维摘要信息,从第二传输流恢复提供三维图像数据的基本流;细节信息获取单元,从提供三维图像数据的基本流的区域获取用于再现三维图像数据的三维细节信息;解码单元,基于三维细节信息对基本流进行解码,其中,三维图像数据包括左视点图像数据和右视点图像数据,其中,第一传输流包括第一基本流和第二基本流中的一个和节目映射表PMT,第二传输流包括第一基本流和第二基本流中的另一个。
14.如权利要求13所述的设备,其中,三维细节信息包括在基本流中的序列层、图片组(GOP)层和图片层中的至少一项的字段中。技术领域
与示例性实施例一致的设备及方法涉及产生流并处理流,更具体地讲,涉及产生流并处理提供三维图像的流,同时保持与现有系统的兼容性。
背景技术
在现有技术中,提供二维图像数据的广播系统是普遍的。但是,随着观众对于三维(3D)图像需求的增加,正在提供三维广播服务。为了提供三维广播服务,以信号发送指示提供了三维图像的信息以及用于处理三维图像数据的信息。同时,将保持与现有技术的二维广播服务的兼容性。
发明内容
解决方案根据示例性实施例的一方面,提供了一种产生流的方法。
附图说明
通过参照附图详细描述示例性实施例,上述和/或其他方面将变得更加清楚,其中:图1是示出根据示例性实施例的流产生设备100的框图;图2是示出根据示例性实施例的传输流处理设备200的框图;图3是示出根据示例性实施例的示例性的三维摘要信息300的示图;图4是示出根据示例性实施例的示例性的三维细节信息的示图;图5是示出根据示例性实施例的插入了三维细节信息的基本流的示例性结构的示图;图6是示出根据示例性实施例的通过对左视点图像数据610和右视点图像数据620进行采样来生成合成图像的过程的示图;图7是示出根据示例性实施例的传输流的示例性的复用过程的示图;图8是示出根据示例性实施例的包括三维图像数据的示例性的传输流包的示图;图9A和9B是示出根据示例性实施例的处理传输流包的过程的流程图;图10是示出根据示例性实施例的流产生方法的流程图;图11是示出根据示例性实施例的流处理方法的流程图。最佳实施方式根据示例性实施例的一方面,提供了一种产生流的方法,所述方法包括:产生基本流,所述基本流包括提供三维图像的三维图像数据和用于再现三维图像数据的三维细节信息;产生包括三维摘要信息的片段,所述三维摘要信息表示从基本流将被产生的传输流提供三维图像;以及产生关于片段和基本流的传输流。三维细节信息可包括在基本流中的序列层、GOP层和图片层中的至少一项的特定字段中。三维细节信息可包括表示三维图像数据的配置的三维模式信息和表示三维图像数据的视点的视点信息中的至少一项。三维细节信息还可包括输出顺序信息,所述输出顺序信息表示提供三维图像的参考视点图像数据和附加视点图像数据之间的输出顺序。三维细节信息还可包括采样信息和在提供三维图像的参考视点图像数据和附加视点图像数据之间的合成模式信息中的至少一项。三维细节信息还可包括关于在图像序列中提供三维图像的片段的三维片段信息。产生片段的步骤可包括将三维摘要信息插入到关于通过基本流提供的不同层的多个图像数据的信息中。可通过可伸缩视频编码(SVC)编解码器和多视点视频编码(MVC)编解码器中的至少一项对不同层的多个图像数据进行编码。三维摘要信息还可包括关于三维图像数据的配置的三维模式信息。片段可包括节目映射表。根据另一示例性实施例的一方面,提供了一种处理包的方法,所述方法包括:从第一传输流恢复包括关于三维图像数据的摘要信息的片段;基于摘要信息,从第二传输流恢复提供三维图像数据的基本流;从提供三维图像数据的基本流的区域获取用于再现三维图像的三维细节信息;以及基于三维细节信息对基本流进行解码。根据另一示例性实施例的一方面,提供了一种产生流的设备,所述设备包括:基本流产生单元,产生包括提供三维图像的三维图像数据和用于再现三维图像的三维细节信息的基本流;片段产生单元,产生包括三维摘要信息的片段,所述三维摘要信息表示从基本流将被产生的传输流提供三维图像;以及传输流产生单元,产生关于片段和基本流的传输流。根据另一示例性实施例的一方面,提供了一种处理包的设备,所述设备包括:片段恢复单元,从第一传输流恢复包括关于三维图像数据的摘要信息的片段;基本流恢复单元,基于摘要信息从第二传输流恢复提供三维图像数据的基本流;细节信息获取单元,从提供三维图像数据的基本流的区域获取用于再现三维图像的三维细节信息;以及解码单元,基于三维细节信息对基本流进行解码。根据另一示例性实施例的一方面,提供了一种处理包的方法,所述方法包括:从第一传输流恢复包括关于三维图像数据的三维摘要信息的片段;基于三维摘要信息,从第二传输流恢复提供三维图像数据的基本流;以及对恢复的基本流进行解码。
具体实施方式
本申请要求2009年10月20日提交至美国专利商标局的61/253,155号美国临时申请的利益,该申请的公开通过引用全部公开包含于此。以下,将参照附图详细描述示例性实施例。应该理解,当在一列元素之前时,诸如......中的至少一个这样的表述修饰整列元素,而不修饰该列的单个元素。图1是示出根据示例性实施例的流产生设备100的框图。参照图1,流产生设备100可包括基本流产生单元110、片段产生单元120和传输流产生单元130。基本流产生单元110可产生包括三维(3D)图像数据和三维细节信息的基本流。在当前的示例性实施例中,三维图像数据可以是提供三维图像的图像数据,而三维细节信息可以是用于使用三维图像数据再现三维图像的信息(例如,用于解码的信息)。三维细节信息可包括表示三维图像数据配置的三维模式信息。为了提供三维图像,可使用不同视点的多个图像数据。在示例性实施例中,左视点图像数据和右视点图像数据将被顺序地暴露给左眼和右眼以提供立体图像。三维模式信息对应于如何配置左视点图像数据和右视点图像数据。例如,三维模式信息可包括如下所述的至少一项:左视点图像数据和右视点图像数据是否包括在单独的图片中、左视点图像数据和右视点图像数据是否合成为包括在一幅图片中、是否提供了用于恢复右视点图像数据的信息(例如,深度信息和视差)而不是右视点图像数据、是否提供了用于恢复左视点图像数据的信息而不是左视点图像数据等。另外,用于提供三维图像的各种信息可包括在三维细节信息中。以下将参照图5提供根据示例性实施例的三维细节信息的详细描述。片段产生单元120可产生包括三维摘要信息的片段。在数字广播中,可复用一个或多个基本流以通过各种传输介质和网络进行传递。一个或多个基本流可对应一项服务,而一项或多项服务可组合在一个传输流中。由这种方法形成的传输流可通过各种物理介质进行传输。广播接收器可从多个传输流中选择性地检索和接收观众期望的传输流。广播接收器可配置为确定关于由各项服务提供的各个节目的内容和类型的信息。因此,除了用于服务的传输流,广播发送器可发送单独的信息。单独的信息可以指的是服务信息或者节目指南信息。例如,欧洲的数字视频广播(DVB)和美国的高级电视系统委员会(ATSC)是提供服务信息或者节目指南信息的数字广播系统标准。片段可以是能够通过传输流传输的数据格式之一,并可包括服务相关信息(例如,服务信息和节目指南信息)。可使用至少一个片段来配置服务相关信息。可使用片段配置的服务相关信息的示例可包括节目特定信息(PSI)(例如,节目关联表(PAT)和节目映射表(PMT))和系统信息(SI)(如事件信息表(EIT))。当传输流(TS)解复用为MPEG-2系统中规定的数据时,可使用PSI。SI可定义为不同的名称,例如,作为欧洲地面标准的DVB的系统信息(SI)以及美国ATSC中的节目和系统信息协议(PSIP),但可具有提供服务(例如,EPG)的相似操作。通过插入三维摘要信息,片段产生单元120可产生如上所述的片段。三维摘要信息可包括这样的信息,该信息指示在如下所述的传输流产生单元130中产生的传输流提供三维图像。指示传输流是否使用三维摘要信息提供三维图像的方法可以改变。例如,在示例性实施例中,片段产生单元120可将提供三维图像的传输流的包标识符(PID)赋值为未用的值(例如,保留值),以及可丢弃在二维(2D)图像接收器中包括相应PID的传输流(即,只处理具有其他PID值的传输流)并处理在三维图像接收器中包括相应PID的传输流以提供三维图像。当提供传输流时,三维摘要信息还可包括表示视点(例如,参考视点和附加视点)的视点信息。另外,三维摘要信息可包括广播接收器中用于提供三维图像的任何信息。可将三维摘要信息插入到任何片段。在示例性实施例中,可将三维摘要信息插入到PMT中。当通过可伸缩视频编码(SVC)或者多视点视频编码(MVC)进行编码的基础流包括不同层的图像数据时,PMT可包括关于每层图像数据的信息。片段产生单元120可用三维摘要信息替代关于每层图像数据的信息。在这种情况下,可在保留区域中新定义不能插入到关于每层图像数据的信息中的信息。在另一示例性实施例中,片段产生单元120可新定义提供三维摘要信息的3D_descriptor(),并可使用相同或相似的结构作为关于每层图像数据的信息的结构。因此,可通过提供三维信息而不是大幅修改PMT来保持与现有系统的兼容性。以下将参照图3提供根据示例性实施例的三维摘要信息的详细描述。传输流产生单元130可产生关于基本流的传输流,所述基本流至少提供一个片段和三维图像。为方便解释,将关于片段的传输流称为第一流,将关于提供三维图像的基本流的传输流称为第二流。通过传输流产生单元130产生传输流的示例性过程如下:i)通过对基本流产生单元110产生的基本流进行数据打包可产生至少一个打包基本流(PES)。打包基本流可分为打包基本流头部区域和打包基本流净荷区域,且在打包基本流净荷区域可存储基本流的至少一部分。ii)针对片段产生单元120产生的至少一个片段和在操作i)产生的PES,产生至少一个TS包。TS包可以是具有固定长度的包,且开始于4字节的传输流头部区域。PES或片段的数据可插入到传输流包头部区域之后的净荷区域。iii)可复用在操作ii)产生的TS包以产生传输流。传输流可以是至少一个打包的流包的继续。三维图像数据流产生设备100还可包括传输单元(未示出),所述传输单元发送产生的传输流。此外,三维图像数据流产生设备100还可包括存储单元(未示出),所述存储单元将传输流存储在存储介质中。图2是示出根据示例性实施例的传输流处理设备200的框图。参照图2,传输流处理设备200可包括片段恢复单元210、基本流恢复单元220、细节信息获取单元230和解码单元240。片段恢复单元210可通过处理包括片段的第一传输流来恢复片段。关于三维图像数据的摘要信息可包括在至少一个恢复的片段中。片段恢复单元210可通过执行与图1的传输流产生单元130的过程相反的过程来恢复片段。具体地讲,片段恢复单元210可通过执行以下的示例性过程来恢复片段:i)可对第一传输流进行解复用以分离出至少一个传输流包。传输流可分离为具有固定长度的传输流包。ii)可对在操作i)中获得的至少一个传输流包进行解包以恢复至少一个片段。三维摘要信息可包括是否存在提供三维图像的传输流以及关于提供三维图像的传输流的标识信息。具体地讲,三维摘要信息可包括提供三维图像的传输流的索引值或者PID。在这种情况下,可单独分配包括参考视点的图像数据的传输流的PID和包括附加视点的图像数据的传输流的PID。基本流恢复单元220可基于三维摘要信息从第二传输流来恢复提供三维图像数据的基本流。基本流恢复单元220可通过执行与图1的传输流产生单元130的过程相反的过程来恢复包括三维图像数据的基本流。具体地讲,基本流恢复单元220可通过执行以下的示例性过程来恢复包括三维图像数据的基本流:i)可通过对第二传输流进行解复用来分离出至少一个传输流包。传输流可分离为具有固定长度的传输流包。ii)可对至少一个传输流包进行解包以恢复至少一个打包基本流。PID可存储在传输流包头部区域,所述PID是表示传输传输流包的数据的类型的标识信息。由于每个节目的PID可包括在PMT中,因此基本流恢复单元220可通过获取经PMT通过第二传输流传输的传输流包的PID,来访问包含三维图像数据的传输流包。iii)可对已经在操作ii)中恢复的至少一个打包基本流进行解包以恢复包括三维图像数据的基本流。细节信息获取单元230可从提供三维图像数据的基本流中的特定区域获取用于三维图像的再现的三维细节信息。细节信息获取单元230可从序列层、GOP层和图片层中的至少一项的特定字段获取细节信息。解码单元240可对基本流的数据进行解码以获取三维图像数据。根据三维图像格式,左视点图像数据和右视点图像数据可包括在单独的图片中,或者包括在一幅图片中。流处理设备200还可包括重放单元(未示出)。重放单元(未示出)可使用解码的三维图像数据重新播放三维图像。根据示例性实施例,图像序列的一部分可配置有三维图像,而图像序列的另一部分可配置有二维图像。根据一个或多个示例性实施例的流产生设备100和流处理设备200可定义新的描述,并通过新定义的描述提供三维摘要信息或者将三维摘要信息插入到现有描述中。在示例性实施例中,“层级描述符”可以是关于多个相关图像数据的信息,并可通过层级描述符提供三维摘要信息。因此,通过提供三维摘要信息而不用显著修改现有技术的数据结构,三维图像可被提供与现有技术的二维图像系统的兼容性并被保持。流产生设备100和流处理设备200可将三维细节信息插入到基本流水平的特定区域。因此,没必要在传输流包中定义新的描述,并且可保持与现有技术的系统的兼容性。图3是示出根据示例性实施例的示例性的三维摘要信息300的示图。三维摘要信息300是新定义的描述,但是除针对一个或多个字段外,三维摘要信息可与现有技术的层级描述符具有相同的结构。因此,可保持与现有技术的系统的兼容性。参照图3,descriptor_tag字段310表示描述的类型。descriptor_length字段320表示描述的长度。3d_mode字段330表示三维图像数据的结构。下面的表1示出根据3d_mode字段330的值的三维图像数据的示例性结构:表1xa0xa03d_mode(330)
xa0xa0结构
xa0xa000
xa0xa0全图片
xa0xa001
xa0xa0半图片
xa0xa010
xa0xa0局部图片
xa0xa011
xa0xa0保留
在表1中,如果3d_mode字段的值是00,则三维图像数据可以是全图片类型。在全图片类型中,左视点图像数据和右视点图像数据可包括在单独的图片中。当3d_mode字段330的值是01时,三维图像数据可以是半图片类型。在半图片类型中,左视点图像数据和右视点图像数据可合成在一幅图片中。当3d_mode的值是10时,三维图像数据可以是局部图片类型。在局部图片类型中,可只在图像序列(时间或空间)的一部分重放三维图像,并且可在图像序列的另一部分重放二维图像。在图像序列的一部分被重放的三维图像数据可以附加信息的形式进行传输或者可包括在图片中。3d_half_picture_type340表示将左视点图像数据和右视点图像数据合成在一幅图片中的合成方法。下面的表2示出根据3d_half_picture_type字段340的值的左视点图像数据和右视点图像数据的示例性的合成方法:表2xa0xa03d_half_picture_type(340)
xa0xa0类型
xa0xa00000
xa0xa0并排
xa0xa00001
xa0xa0顶底
xa0xa00010
xa0xa0垂直线交错
xa0xa00011
xa0xa0水平线交错
xa0xa00100
xa0xa0棋盘格式
xa0xa0其他
xa0xa0保留
在表2中,并排类型表示这样的形式:并排排列与合成图片的左侧区域和右侧区域对应的左视点图像数据和右视点图像数据。顶底类型表示这样的形式:并排排列与合成图片的上端区域和下端区域对应的左视点图像数据和右视点图像数据。垂直线交错类型表示这样的形式:并排排列与合成图片的奇数水平线和偶数水平线对应的左视点图像数据和右视点图像数据。水平线交错类型表示这样的形式:并排排列与合成图片的奇数垂直线和偶数垂直线对应的左视点图像数据和右视点图像数据。棋盘类型表示这样的形式:交替地排列与水平方向像素和垂直方向像素对应的左视点图像数据和右视点图像数据。3d_hierarchy_typee字段350表示来自空间层、时间层和质量层之中的多个相关图像数据的层关系。3d_hierarchy_layer_index字段360表示多个相关图像数据的索引值。当多个相关图像数据是三维图像数据时,3d_hierarchy_layer_index字段360可包括关于包括多视点图像数据的传输流的标识信息。3d_hierarchy_embeded_layer_index字段370表示在相关图像数据中的一起被解码的图像数据的索引。在示例性实施例中,由于与基层对应的图像数据不用于与其他图像数据一起被解码,因此相应的字段可以是空的。另一方面,由于与增强层对应的图像数据将与较低层的图像数据一起被解码,因此一起被解码的图像数据的索引可包括在3d_hierarchy_channel字段380中。当多个相关图像数据是三维图像数据时,关于参考视点图像数据的3d_hierarchy_embeded_layer_index字段370可不存在或者是空的,关于附加视点图像数据的3d_hierarchy_embeded_layer_index字段370可包括关于包括参考视点图像数据的传输流的索引值。3d_hierarchy_channel字段380表示与包括在图像数据中的广播服务相关的信道。已参照图3定义了包括根据示例性实施例的三维摘要信息的新的描述。但是,如上所述,可插入现有技术的描述摘要信息(例如,层级描述符)。在这种情况下,由于在层级描述符中定义了3d_mode字段330和3d_half_picture_type字段340,因此可通过层级描述符中的保留区域新定义3d_mode字段330和3d_half_picture_type字段340。图4是示出根据示例性实施例的示例性的三维细节信息的示图。参照图4,extension_start_code_Identifier字段410表示信息的类型。由于三维细节信息是新定义的描述,因此extension_start_code_Identifier字段410可具有与保留值对应的值。3d_mode字段420表示三维图像数据的结构。由于3d_mode字段420与图3的3d_modexa0330是相同或相似的,因此这里将省略其详细描述。layer_id字段430表示在多个相关图像数据之间的层。例如,与基层对应的参考视点图像数据可具有0值,与增强层对应的附加视点图像数据可具有1值。当不对其进行限制时,仅当根据3d_mode字段420的三维图像数据是全图片时才可定义layer_id字段430,这是因为当根据3d_mode字段420的三维图像数据是半图片时相关图像数据都包括在一幅图片中。另外,当三维图像数据是作为全图片的多视点图像数据时,基层图像数据的layer_id字段430可不具有0值。与最左侧视点对应的图像数据的layer_id字段430可具有0值,并且朝着右视点的方向,字段值可从0增加。当根据3d_mode字段的图像数据的类型是全图片时,可定义字段441到444。当图像数据的类型是半图片时,可定义字段451到453。当图像数据的类型是局部图片时,可定义字段461到466。full_picture_typee字段441表示附加视点图像数据的形式。下面的表3表示根据full_picture_type字段441的附加视点图像数据的示例性的形式:表3xa0xa0full_picture(441)
xa0xa0形式
xa0xa000
xa0xa0序列图像
xa0xa001
xa0xa0视差图像
xa0xa010
xa0xa0深度图像
xa0xa011
xa0xa0多视点图像
xa0xa0其他
xa0xa0保留
当full_picture_type字段441具有00或11值时,参考视点图像数据和附加视点图像数据可独立存在。当full_picture_type字段441具有01或10值时,可仅提供用于获取附加视点图像数据的附加信息(例如,视差信息和深度信息)。因此,流处理设备200使用参考视点图像数据和视差信息或者参考视点图像数据和深度信息来获取附加视点图像数据。picture_mux_enable字段442表示是否存在表示多个相关图像数据的处理顺序的信息。为了再现三维图像,参考视点图像(例如,左视点图像)和附加视点图像(例如,右视点图像)可互相同步地被顺序地重放。在这种情况下,如果参考视点图像和附加视点图像的处理(例如,渲染或者显示)顺序相反,则用户不能充分地感知三维场景。因此,规定处理顺序克服这个问题。picture_mux_order字段表示基层图像数据(例如,左视点图像数据)和增强层图像数据(例如,右视点图像数据)之间的处理顺序。当picture_mux_order字段443是0时,可处理左视点图像数据,随后可顺序地处理右视点图像数据。另一方面,当picture_mux_order字段443是1时,可处理右视点图像数据,随后可顺序地处理左视点图像数据。picture_mux_factor字段444表示在基层图像数据之前将被处理的一些增强层图像数据。如果只使用左视点图像数据和右视点图像数据来提供三维图像,则picture_mux_order字段443就足够了。可是,如果使用关于三个或更多个不同视点的图像数据来提供三维图像,则在参考视点图像数据之前将被处理的附加视点图像数据的数量大于1。在这种情况下,可使用picture_mux_factor字段444。half_picture_type字段451表示将左视点图像数据和右视点图像数据包括在一幅图片中的合成方法。由于half_picture_type字段451与图3的3d_half_picture_type字段340相同或相似,因此这里将省略其详细描述。LR_flag字段452表示在一幅图片中左视点图像数据和右视点图像数据之间的布置关系。下面的表4示出了根据LR_flag字段452的左视点图像数据和右视点图像数据之间的示例性的布置关系:表4ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="700"/>ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="700"/>参照表4,当LR_flag字段452的值是0且合成类型是并排类型时,可在合成图像的左侧布置左视点图像数据,在合成图像的右侧布置右视点图像数据。类似地,当LR_flag字段452的值是0且合成类型是顶底类型时,可在合成图像的上端布置左视点图像数据,而在合成图像的下端布置右视点图像数据。当LR_flag字段452的值是1时,右视点图像数据和左视点图像数据的布置与如上所述的LR_flag字段452是0的情况相反。sampling_order字段453表示通过合成左视点图像数据和右视点图像数据来生成一幅图片时所采用的采样方法。在图4中假定使用在生成合成图像时选择性地从连续的多条线提取一条线的采样方法,然而应该理解,另外的示例性实施例不限于此。例如,根据另一示例性实施例,也可使用以一条线的值的方式的连续的多条线的平均值的采样方法。下面的表5示出了根据sampling_order字段453的值的合成左视点图像数据610和右视点图像数据620的示例性的方法:表5xa0xa0sampling_order(453)
xa0xa0左视点图像数据
xa0xa0右视点图像数据
xa0xa00
xa0xa0奇数线
xa0xa0偶数线
xa0xa01
xa0xa0偶数线
xa0xa0奇数线
xa0xa02
xa0xa0奇数线
xa0xa0奇数线
xa0xa03
xa0xa0偶数线
xa0xa0偶数线
当sampling_order字段453的值是0时,可对左视点图像数据的奇数垂直(或水平)线进行采样,并可对右视点图像数据的偶数垂直(或水平)线进行采样。类似地,当sampling_order字段453的值是3时,可对左视点图像数据的偶数垂直(或水平)线进行采样,并可对右视点图像数据的偶数垂直(或水平)线进行采样。下面的表6示出了当sampling_order字段453的值是0时左视点图像数据和右视点图像数据的示例性的采样形式:表6xa0xa0合成形式
xa0xa0左视点图像数据
xa0xa0右视点图像数据
xa0xa0并排
xa0xa0奇数垂直线
xa0xa0偶数垂直线
xa0xa0顶底
xa0xa0奇数水平线
xa0xa0偶数水平线
xa0xa0垂直线交错
xa0xa0奇数垂直线
xa0xa0偶数垂直线
xa0xa0水平线交错
xa0xa0奇数水平线
xa0xa0偶数水平线
xa0xa0其他
xa0xa0奇数线
xa0xa0偶数线
在表6中,当sampling_order字段453的值是0且左视点图像数据和右视点图像数据的合成形式是并排形式时,可对左视点图像数据的奇数垂直线进行采样,并可对右视点图像数据的奇数垂直线进行采样,以生成新的图像数据。以下,将参照图6描述以并排形式合成左视点图像数据610和右视点图像数据620的过程。图6是示出根据示例性实施例的通过对左视点图像数据610和右视点图像数据620进行采样来生成合成图像的过程的示图。参照图6,根据当前示例性实施例,可从左视点图像数据610只对奇数垂直线进行采样,可从右视点图像数据620只对偶数垂直线进行采样。也就是,可从左视点图像数据610对第一垂直线611进行采样,而可不对第二垂直线612进行采样。类似地,可从右视点图像数据620不对第一垂直线621进行采样,而可对第二垂直线622进行采样。其后,可在合成图像630的左侧布置从左视点图像数据610采样的垂直线,可在合成图像630的右侧布置从右视点图像数据620采样的垂直线。local_layer_prediction_horizontal_size字段461表示被再现为三维图像的图像帧的水平尺寸。local_layer_prediction_vertical_size字段462表示被再现为三维图像的图像帧的垂直尺寸。local_layer_prediction_horizontal_offset字段463表示被再现为三维图像的图片的部分的水平状态位置。local_layer_prediction_vertical_offset字段464表示被再现为三维图像的图片的部分的垂直状态位置。local_layer_display_horizontal_size字段465表示图片的部分被再现为三维图像的显示的水平尺寸。local_layer_display_vertical_size字段466表示图片的部分被再现为三维图像的显示的垂直尺寸。local_layer_display_vertical_size字段466的值和local_layer_prediction_horizontal_size字段461的值可以相同。图5是示出根据示例性实施例的插入了三维细节信息的基本流的示例性结构的示图。例如,图5示出了MPEG-2视频的层结构,所述层结构可包括序列层510、GOP层520、图片层530、条层(slicexa0layer)540、宏块层550和块层560。序列层510可包括序列头部511、序列扩展512和GOP数据513。GOP层520可包括GOP头部521、用户数据522和图片数据523。图片层530可包括图片头部531、图片编码扩展532、用户数据533和条数据534。三维细节信息可包括在各个层的特定字段中。在示例性实施例中,三维细节信息可包括在序列头部511、用户数据522和图片编码扩展532中的至少一项中。具体地讲,当使用序列头部511或者图片编码扩展532时,可定义与已在扩展起始编码标识符(即,表示包括在扩展字段中的数据的类型的字段)中定义的值不同的值(例如,保留值),且可将该值设置为表示三维细节信息(例如,0xf)。图7是示出根据示例性实施例的传输流的示例性复用过程的示图。参照图7,第一视频编码器712可对与基层(例如,参考视点)对应的图像数据进行编码,第一复用单元722可对与基层对应的图像数据和片段数据(例如,PMT)进行复用。第二视频编码器714可对与增强层(例如,附加视点)对应的图像数据进行编码,第二复用单元724可对与增强层对应的图像数据和用于生成与增强层对应的图像数据的附加信息进行复用。用于生成与增强层对应的图像数据的附加信息可包括关于基本图像的视差和深度信息、与增强层对应的图像数据、三维内容相关的信息和三维内容相关的标题中的至少一项。在这种情况下,包括附加视点图像数据或附加信息的传输流包可具有特定的PID(例如,000F)以指示传输流包提供三维图像数据。为了对用于生成附加视点图像数据的附加信息和现有技术的图像数据(例如,二维图像数据)进行复用,可参考考虑到与现有技术的系统的兼容性的标准中提供的缓冲模型。为此,可调节包定时或者节目时钟参考(PCR)。第三复用单元726可对PAT、PSIP、从第一复用单元722和第二复用单元724传输的传输流包进行复用。因此,可保持兼容性,并可通过将传输流包的PID赋值为包可不通常使用的值来提供三维图像。图8是示出根据示例性实施例的包括三维图像数据的示例性的传输流包的示图。参照图8,传输流包的PIDxa0801表示装载在净荷802上数据的类型。因此,处理设备200可通过检验PIDxa0801来确定净荷802是否包括三维图像数据。图9A和9B是示出根据示例性实施例的处理传输流包的过程的流程图。参照图9A和9B,在操作S910,确定包的PID是否是0xlFFF。如果确定包的PID是0xlFFF,则可执行操作S912以丢弃相应的包。在操作S920,确定包的PID是否是0x000F。如果包的PID是0x000F,则将根据示例性实施例假定相应的包包括三维数据。因此,如果确定包的PID是0x000F,则步骤可进行到操作S922以提供三维图像。否则,步骤可进行到操作S930以提供二维图像。在操作S930,确定Adaptation_field_control字段的值是否是0或2。如果确定Adaptation_field_control字段的值是0或2,则相应的包具有Adaptation_field。因此,可执行操作S932以获取Adaptation_field。在操作S940,确定Adaptation_field_control字段的值是否是1或2。如果确定Adaptation_field_control字段的值是1或2,则相应的包具有净荷。因此,可执行提取净荷的过程。在操作S950,确定包的PID表示PES还是PSI。如果确定包的PID表示PES,则可执行操作S960。如果确定包的PID表示PSI,则可执行操作S970。在操作S960,确定payload_unit_start_indicator字段的值是否是1。被设为1的相应字段的值可指示存在新的PES包。如果确定payload_unit_start_indicator字段是1,则可执行操作S962。在操作S962,可使用包括在净荷中的数据来恢复新的PES包。另一方面,如果确定payload_unit_start_indicator字段的值是0,则可执行操作S964。在操作S964,可使用包括在净荷中的数据连续恢复先前的PES包。在操作S970,确定payload_unit_start_indicator字段是否是1。如果确定payload_unit_start_indicator字段是1,则可执行操作S972。在操作S972,可通过pointer_field字段检验在净荷中新的PSI起始的位置。在操作S974,可使用在新的PSI起始的位置之前的数据来恢复先前的PSI,且可使用在新的PSI起始的位置之后的数据来恢复新的PSI。如果确定payload_unit_start_indicator字段的值不是1,则可执行操作S978。在操作S978,可使用包括在净荷中的数据连续恢复先前的PSI。图10是示出根据示例性实施例的流产生方法的流程图。参照图10,在操作S1010,可产生包括三维图像数据和三维细节信息的基本流,所述三维细节信息用于再现提供三维图像的三维图像数据。在操作S1020,可产生包括三维摘要信息的至少一个片段,所述三维摘要信息表示通过基本流生成的传输流提供三维图像。在操作S1030,可产生关于基本流和所述至少一个片段的传输流。图11是示出根据示例性实施例的流处理方法的流程图。参照图11,在操作S1110,可从第一传输流恢复包括关于三维图像数据的摘要信息的至少一个片段。摘要信息可包括是否存在包括三维图像数据的第二传输流以及关于第二传输流的标识信息。在操作S1120,可基于摘要信息从第二传输流恢复包括三维图像数据的至少一个基本流。在操作S1130,可从至少一个基本流的特定区域获取用于再现三维图像的三维细节信息。三维细节信息可包括表示三维图像数据的结构的模式信息、合并多个图像数据的合并信息和用于生成合并图像的采样模式信息中的至少一项。在操作S1140,可基于三维细节信息对基本流进行解码。然而不仅限于此,一个或多个如上所述的示例性实施例可以在计算机中可执行的程序实现,并可以操作程序的通用数字计算机实现。计算机可读记录介质可包括存储介质,例如,磁性存储介质(例如,ROM、软盘、硬盘等)、光读取介质(例如,CDROM、DVD)等。此外,示例性实施例可写为通过计算机可读传输介质(如载波)传输并由执行程序的通用或专用数字计算机接收和执行的计算机程序。另外,流产生设备100和流处理设备200的一个或多个单元可包括处理器或微处理器,所述处理器或微处理器执行存储在计算机可读介质中的计算机程序。尽管已经如上详细地示出和描述了示例性实施例,但是本领域的普通技术人员应该理解,在不脱离由如下权利要求限定的本发明构思的精神和范围的情况下,可在形式和细节上进行各种改变。